[Day 17] Multilayer Perceptron

2023 iThome 鐵人賽

DAY 17

AI & Data

ML From Scratch系列第 17 篇

15th鐵人賽 machine learning python

whoami

2023-09-17 10:40:37

767 瀏覽

分享至

Prerequisite

Multilayer Perceptron（多層感知器）是一種前向結構的人工神經網絡，映射一組輸入向量到一組輸出向量。

Artificial Neural Networks

Artificial Neural Networks 是一種受到人類大腦運作方式啟發的計算模型。

Artificial Neural Networks 是機器學習和深度學習的基礎，旨在模擬生物神經元之間的信息傳遞和處理過程。

其中，神經元可以表示為一個數學函數，接受多個輸入 $x_1, x_2, \ldots, x_n$ ，這些輸入通過權重 $w_1, w_2, \ldots, w_n$ 進行加權總和，並經過 activation function $f$ 後產生輸出 $y$ 。

$y = f(w_1x_1 + w_2x_2 + \ldots + w_nx_n)$

而 activation function，它決定神經元的輸出，包括Sigmoid函數、ReLU（整流線性單元）函數和Tanh函數，其中 $x$ 表示總輸入。

例如，Sigmoid函數： $https://chart.googleapis.com/chart?cht=tx&chl=f(x)%20%3D%20%5Cfrac%7B1%7D%7B1%20%2B%20e%5E%7B-x%7D%7D$

Backpropagation

Backpropagation（反向傳播）是通過計算梯度来更新網路中的參數（weight / bias），以減小模型預測與實際值之間的誤差。

演算法

令 $L$ 表示損失函數， $W$ 表示權重， $b$ 表示偏差。對於具有 $N$ 層的神經網絡，第 $n$ 層的輸出可以表示為 $a^{(n)}$ ，第 $n$ 層的輸入表示為 $z^{(n)}$ 。

輸入訓練數據和標籤

$(X, Y)$

初始化權重和偏差

對每個層 $n$ ，初始化 $W^{(n)}$ 和 $b^{(n)}$ 。

重複以下步驟，直到達到停止條件：

前向傳播

$z^{(n)} &= W^{(n)} a^{(n-1)} + b^{(n)}$

$a^{(n)} &= \sigma(z^{(n)})$

其中 $\sigma$ 表示 activation function，通常是 Sigmoid、ReLU 或其他函數。

計算損失

$L = \text{Loss function}(a^{(N)}, Y)$

反向傳播

$\delta^{(N)} &= \nabla_a L \odot \sigma'(z^{(N)}) \quad$

$\delta^{(n)} &= (W^{(n+1)})^T \delta^{(n+1)} \odot \sigma'(z^{(n)}) \quad$

其中 $\nabla_a L$ 表示損失函數相對於輸出的梯度， $\odot$ 表示逐元素乘法。

更新參數

$\nabla_{W^{(n)}} L &= \delta^{(n)} (a^{(n-1)})^T$

$\nabla_{b^{(n)}} L &= \delta^{(n)}$

使用梯度下降或其他優化算法來更新權重和偏差：

$W^{(n)} &\leftarrow W^{(n)} - \alpha \nabla_{W^{(n)}} L$

$b^{(n)} &\leftarrow b^{(n)} - \alpha \nabla_{b^{(n)}} L$

其中 $\alpha$ 表示學習率。

輸出訓練好的神經網絡模型

Loss Functions

Loss Functions（損失函數）是機器學習和深度學習中的重要概念，用於衡量模型的預測結果和實際觀測值之間的差異。

其目標是最小化這種差異，以使模型能夠做出更準確的預測。以下是損失函數的數學 latex 表達和解釋：

在機器學習中，我們通常使用一個訓練數據集（通常包含輸入特徵 $X$ 和對應的實際輸出或標籤 $Y$ ）來訓練模型，而模型的預測輸出（通常用 $y$ 表示）與實際標籤之間的差異可以通過損失函數 $L(y, Y)$ 來衡量。

損失函數的選擇取決於所解決的問題類型，例如分類或回歸。以下是兩個常見的損失函數示例：

均方誤差（Mean Squared Error，簡稱 MSE）：
$https://chart.googleapis.com/chart?cht=tx&chl=(y%2C%20Y)%20%3D%20%5Cfrac%7B1%7D%7Bn%7D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D(y_i%20-%20Y_i)%5E2$

均方誤差用於回歸問題，它衡量了預測值和實際值之間的平方差的平均值。目標是將這個平均差異最小化。
交叉熵損失（Cross-Entropy Loss）：

$L(y, Y) = -\sum_{i}^{n}(Y_i \log(y_i) + (1 - Y_i) \log(1 - y_i))$

交叉熵損失通常用於二元分類問題。它衡量了預測概率分佈和實際二元標籤的差異，目標是最小化這種差異，使預測更接近實際標籤。

Optimizers

優化器（Optimizers）是深度學習中的關鍵元件，用於調整神經網絡模型的權重，以最小化或最大化損失函數。優化器的目標是尋找模型參數的最佳值，使模型能夠更好地擬合訓練數據，並在測試數據上實現良好的泛化性能。

在深度學習中，我們通常使用一組參數（權重和偏差）來表示神經網絡模型。這些參數會在訓練過程中不斷更新，以最小化損失函數。優化器的主要工作是計算這些參數的梯度，然後根據梯度的方向和大小來更新參數值。

優化器的目標是尋找模型參數 $\theta$ 的最佳值，以最小化或最大化損失函數 $J(\theta)$ 。這可以表示為以下的最優化問題：

$\min_{\theta} J(\theta)$

在每一個訓練迭代中，優化器計算損失函數對參數的梯度，即 $\nabla J(\theta)$ ，梯度表示了損失函數在當前參數值附近的變化趨勢。優化器根據梯度的方向和大小來更新參數值，以便向損失函數的最小值移動。這個更新過程可以表示為：

$\theta \leftarrow \theta - \alpha \nabla J(\theta)$

其中， $\alpha$ 是 Learning Rate，它決定了每次更新的步長。學習率越大，參數更新越快，但可能會導致不穩定的訓練過程；學習率越小，參數更新越穩定，但訓練速度較慢。

不同的優化器有不同的策略來計算梯度和調整參數，例如隨機梯度下降（SGD）、Adam、RMSprop等。每種優化器都有其優點和缺點，選擇適合特定任務的優化器是深度學習中的一個重要決策。

Background

Multilayer Perceptron 是一種人工神經網絡（Artificial Neural Network）的架構。

MLP 主要用於解決各種機器學習問題，包括分類、回歸、圖像處理和自然語言處理等。

MLP 由多個神經元組成，這些神經元分布在不同的層中，通常包括輸入層、隱藏層和輸出層。以下是 MLP 的主要特點和結構：

輸入層（Input Layer）：接受輸入數據，例如圖像像素、特徵向量或文本數據。
隱藏層（Hidden Layer）：中間層，其內部神經元處理輸入數據，並通過權重和激活函數進行信息傳遞。MLP 可以包含多個隱藏層，具體的結構取決於任務和設計。
輸出層（Output Layer）：最後一層，它生成模型的預測結果。輸出層的數量通常取決於任務的性質，例如二元分類問題可能只有一個輸出神經元，而多類別分類問題可能有多個輸出神經元。
權重（Weights）：每個神經元之間都有權重，用於調整訊號的強度。
激活函數（Activation Function）：激活函數用於引入非線性性質，使 MLP 能夠擬合更複雜的數據。
反向傳播（Backpropagation）：MLP 使用反向傳播算法來訓練模型。